对预训练的语言模型(LM)做出明智的选择对于性能至关重要,但环境成本高昂,并且如此广泛地被忽略。计算机视觉领域已经开始解决编码器排名,并有希望地进入自然语言处理,但是它们缺乏对诸如结构化预测等语言任务的覆盖范围。我们建议通过测量可以从LM的上下文化嵌入中恢复标记的树的程度来探测LMS,特别是针对给定语言的解析依赖性。在46个类型和结构上不同的LM语言对中,我们的探测方法预测,最佳的LM选择有79%的时间使用尺寸的计算订单,而不是训练完整的解析器。在这项研究中,我们识别并分析了最近提出的脱钩LM -Rembert-并发现它的固有依赖信息较少,但经过完整的微调后通常会产生最好的解析器。没有这个离群,我们的方法将在89%的情况下确定最佳的LM。
translated by 谷歌翻译